課程名稱

Python+大數據開發課程

課程推出時間

2024.04.21

課程版本號

4.5

技術課程

Hadoop3.3，Spark3.4，阿里云Flink（FlinkCDC、FlinkCEP、FlinkSQL），Hudi，Doris，Starrocks，Paimon，ElasticSearch

課程介紹

● Python大數據V4.5課程全新升級，緊貼各類企業招聘需求，升級阿里云平臺全套大數據技術棧，全程采用六項目制驅動技術學習，助力國家數字化轉型對數字人才的大量需求。

● 多位Apache社區貢獻者聯袂授課，從原理、實戰到源碼，帶你邁入高級開發工程師行列。

● 課程覆蓋企業級大數據六大主流解決方案，包括離線數倉解決方案、流批一體解決方案和湖倉一體解決方案、用戶畫像解決方案、推薦系統解決方案、數據治理解決方案，再現公司中真實的開發場景，目標不止于就業，而是成為各類企業爭搶的大數據開發工程師。

● 課程升級主流大數據技術棧，全新Hadoop3.3，Spark3.4，阿里云實時計算Flink技術剖析和新特性使用，推出黑馬甄選業務的全套解決方案課程，不僅可以學習到企業真實完整的業務場景，將六大技術解決方案應用到黑馬甄選泛電商業務中，能勝任企業級離線數倉、實時數倉、用戶畫像、推薦系統、數據治理等核心大數據開發工作。

課程名稱

Python+大數據開發課程

課程推出時間

2023.08.21

課程版本號

4.0

技術課程

Hadoop3.3，Spark3.4，阿里云Flink（FlinkCDC、FlinkCEP、FlinkSQL），StarRocks，Paimon，ElasticSearch

課程介紹

● Python大數據V4.0課程全新升級，緊貼各類企業招聘需求，升級阿里云平臺全套大數據技術棧，全程采用六項目制驅動技術學習，助力國家數字化轉型對數字人才的大量需求。

● 多位Apache社區貢獻者聯袂授課，從原理、實戰到源碼，帶你邁入高級開發工程師行列。

● 課程覆蓋企業級大數據六大主流解決方案，包括離線數倉解決方案、流批一體解決方案和湖倉一體解決方案、用戶畫像解決方案、推薦系統解決方案、數據治理解決方案，再現公司中真實的開發場景，目標不止于就業，而是成為各類企業爭搶的大數據開發工程師。

● 課程升級主流大數據技術棧，全新Hadoop3.3，Spark3.4，阿里云實時計算Flink技術剖析和新特性使用，推出黑馬甄選業務的全套解決方案課程，不僅可以學習到企業真實完整的業務場景，將六大技術解決方案應用到黑馬甄選泛電商業務中，能勝任企業級離線數倉、實時數倉、用戶畫像、推薦系統、數據治理等核心大數據開發工作。

● 項目課程實施“講A練B”與"看圖說話"新模式, 以思路分析為導向提高學員獨立開發能力,并推動學員在邏輯思維與語言表達能力方向的持續提升,為學員在面試中以及在企業獨立開發中打下堅實的基礎

課程名稱

Python+大數據開發課程

課程推出時間

2023.01.01

課程版本號

3.2

主要使用開發工具

PyCharm，IDEA，DataGrip，FinalShell

課程介紹

● 優勢1：課程升級深度調研市場需求，針對行業解決方案：離線數倉解決方案、用戶畫像解決方案、湖倉一體解決方案，打造多行業多場景大數據開發工程師。

● 優勢2：6項目制，2大項目實戰，新增PB級內存計算項目實戰，應對企業級大數據開發工程師需求。

● 優勢3：研究院精心研發基于實時技術棧全新架構的出行行業和電商行業大數據項目，讓學生具備更強項目經驗要求。

● 優勢4：最短路徑教會企業最實用的技術，案例練習促進吸收；每日作業夯實學習成果；階段項目實戰，學以致用。

課程名稱

Python+大數據開發課程

課程推出時間

2022.06.01

課程版本號

3.0

主要針對

       　　 技術課程：ETL開發、NoSQL中間件課程、新版Flink課程

主要使用開發工具

PyCharm、DataGrip、FinalShell

課程介紹

● Python大數據V3.0課程全新升級，緊貼各類企業招聘需求，采用六項目制驅動技術學習，助力國家數字化轉型對數字人才的大量需求

● 多位Apache社區貢獻者聯袂授課，從原理、實戰到源碼，帶你邁入高級開發工程師行列

● 課程覆蓋企業級大數據四大主流解決方案，包括離線數倉解決方案、用戶畫像解決方案、流批一體解決方案和湖倉一體解決方案，再現公司中真實的開發場景，目標不止于就業，而是成為各類企業爭搶的大數據開發工程師。

● 課程升級主流大數據技術棧，全新Hadoop3.2，Spark3.2，Flink1.15技術剖析和新特性使用，推出Python全棧ETL開發課程，不僅可以學習到完整的基礎ETL流程、工具，更能勝任千億級、亞秒級等復雜數據源情況下的工作。

● 新增基于Python和SQL的Flink課程，滿足就業市場中，大數據開發崗位更多的依賴SQL、Python的需求變化。

● 新增 基于Python的Kafka、Elasticsearch等全新課程，夯實實時計算開發基礎能力，幫助學員掌握數據開發工程師重要技能。

● 新增 新版面試加強課，內容集成了大廠架構解析、SQL專項面試寶典，以及不斷滾動更新的全網大數據崗位面試題講解，助力學員高起點就業。

課程名稱

Python+大數據開發課程

課程推出時間

2021.06.01

課程版本號

2.0

主要針對

新零售數倉項目、云上服務器集群

主要使用開發工具

新零售數倉項目、云上服務器集群

課程介紹

● 經過不斷的版本迭代，正式推出新零售數倉項目課程，替換原有的舊項目，打造過硬的項目實戰經驗

● 新增價值百萬的UCcloud云上集群生產環境用于學習，完全云服務開發環境體驗

● 新增項目實戰環節，再現企業中真實工作場景，夯實開發實戰能力

1

升級PySpark執行流程

1

新增Spark3.x新特性以及性能調優九項原則

1

升級Hive版本為新的3.x版本

1

新增自動導入oracle數據，自動創建hive表，自動創建hive分區，自動關聯hdfs數據，自動創建文件目錄，并記錄自動化過程日志

1

升級Flink版本為新版

1

新增FlinkSQL&Table理論部分比重，使用新版API，使用新增FlinkSQL整合Kafka案例

1

新增美團、平安、小米大數據架構，以及百度廣告業務場景大數據架構解決方案

1

新增flink的global window的操作、內置水印函數的操作

1

升級 flink的window的ReduceFunction、AggregateFunction、ProcessWindowFunction、具有增量聚合的ProcessWindowFunction、在 ProcessWindowFunction 中使用每個窗口狀態

1

新增flink的state的ttl機制、state的數據結構的api升級、Queryable State知識點

1

新增Flink異步io的vertx框架實現、flink的join操作（Tumbling Window Join、Sliding Window Join、Session Window Join）

1

新增Streaming File Sink連接器的小文件操作

1

新增數據類型及序列化的原理和實現案例

1

新增Flink Action綜合練習：熱門銷售排行TopN的使用案例、布隆過濾器結合TTL的使用案例

課程名稱

Python+大數據開發課程

課程推出時間

2021.01.01

課程版本號

1.6

主要針對

Spark3.x

主要使用開發工具

Pycharm、Idea、Datagrip、FinalShell

課程介紹

● 針對Spark3.x版本的重大更新，應對就業崗位需求的快速變化，大數據課程推出基于Python的Spark課程

● 新增大數據工程師必備的SQL面試進階強化內容，提升大數據開發工程師核心SQL能力

● 新增大廠數倉架構專題內容，提升數據倉庫建設能力

1

升級Hadoop為3.3.0版本、Hive版本為3.1.2版本、HIve3.x架構

1

新增使用Python實現MR原理機制、OLAP、OLTP區別

1

新增MapReduce計算PI原理、MapReduce Python接口調用、Hadoop Streaming提交程序、ETL、ELT區別

1

新增HIve3新特性、Hive3數據壓縮，存儲格式、Hive CTE表達式

1

升級union聯合查詢、Hive知識點案例 同步為Hive3版本、Linux課程、Mysql RPM安裝方式以支持hive3

1

升級Spark語言為官方推薦使用的Python語言、版本更新為Spark3.1.2發行版、adoop3.3.0、Hive3.1.2版本

1

新增PySpark的安裝、任務提交方式、多種模式spark-submit、實現wordcount案例實戰

1

新增Python實現RDD操作、DataFrame操作、實現Sougou分詞案例、IP熱度分析案例、PV-UV-TOPK案例

1

新增PySparkSQL實現基礎統計操作、底層Dataframe轉化RDD原理操作、實現電影評分數據集分析、離線教育案例、新零售分析案例

1

新增PySparkSQL的優化方式、分布式引擎實現、與HIve整合

課程名稱

Python+大數據開發課程

課程推出時間

2020.06.01

課程版本號

1.0

主要針對

大數據引入Python語言、Pandas數據分析

主要使用開發工具

Pycharm、Idea、Datagrip

課程介紹

● 8.1版本以前的數據開發課程，需要一定Java基礎和工作經驗，為了幫助進入數據開發行業的零基礎學員找到適宜的入門途徑，大數據引入Python語言，全新升級為Python+大數據開發1.0版本。

● 學習Python大數據開發，以Python技術棧處理中小型數據集，以大數據技術棧處理海量大規模數據，成為全能企業級數據開發人才。

● 其特點適合零基礎學員，從完全沒有編程經驗開始；課程內容寬并且深，技術大牛親自授課；面向市場，學即可用，能讓學員高薪就業。

1

新增Python基礎語言課程

1

新增Python高級語言進階課程

1

新增Python爬蟲課程

1

新增Pandas數據分析課程

1

新增多場景案例分析，應對中小型數據統計分析

課程名稱

云計算大數據實戰班

課程推出時間

2020.01.01

課程版本號

8.0

主要針對系統

Windows、Linux、MacOS

主要使用開發工具

DataGrip、IDEA

課程介紹

● 根據大量的行業調研分析，本次課程更新以大數據開發為主線，在7.0基礎上再次縮減Java課程占比，弱化各類組件安裝。

● 針對大數據技術深度和廣度進行升級，例如新增Spark內存管理、Flink性能優化及反壓、背壓原理等同時為提高學員的就業薪資，推出多行業項目解決方案，例如證券、物流等。

● 以周為單位進行課程更新升級，新增Elastic Stack、 出行、電商、視頻、社交等領域大數據解決方案、 一線大廠技術架構、 新零售大數據項目實戰，離線實時全覆蓋。

1

新增數據倉庫、ETL、BI開發

1

新增Oracle及PLSQL編程、數據微服務開發

1

新增Spark的內存管理、avro序列化數據源

1

新增continuous processing、偏移量管理機制

1

新增KafkaStreams編程、exactly-once、Kafka事務、metrics監控

1

新增Hbase的協處理器和phoneix的二級索引實現、布隆過濾器、LSM樹、StoreFiles結構剖析

1

新增FLink性能優化及反壓、背壓指標計算原理、FlinkSQL On Hive、Flink HistoryServer、Flink的UDF、UDAF、UDTF的實現

1

新增在線教育行業、物流行業、物聯網行業、證券行業項目

1

升級分布式緩存系統， 萬億級NoSQL海量數據存儲， 分布式流處理平臺、電商行業項目

1

刪除刪減 JavaWeb

課程名稱

云計算大數據實戰班

課程推出時間

2019.07.22

課程版本號

7.0

主要針對版本

CDH5.14、Spark2.2.0、Flink1.8、Kafka0.11.0.2、ELK6.0

主要使用開發工具

IntelliJ IDEAA

課程介紹

● 大數據技術目前在企業里面使用的越來越廣泛，對大數據人才的需求越來越多，大數據的整個課程體系是由來自大型互聯網、外企等具有5年以上的一線大數據高級工程師、架構師和高級機器學習工程師設計出來的，內容含金量非常高。

● 課程體系涉及的技術以企業需求為導向，課程涉及的項目也是企業里面真實的項目，通過理論、實踐和真實的項目相結合，讓學員能夠快速、深刻的掌握大數據常用的核心技術和開發應用，同時可以滿足企業對中、高端大數據人才的需求。

● 大數據課程體系除了包含常用的Hadoop、Hive、Hbase、ELK、Sqoop、Flume、Kafka、Spark等技術和項目，還新增了目前互聯網比較流行的Flink、Druid、Kylin等技術和項目，同時引入了機器學習和深度學習Spark Mllib和Tensorflow等技術和項目實戰。

1

新增Impala即席查詢組件、Kudu列存儲服務、Structured Streaming結構化數據流處理

1

新增spark MLlib數據挖掘、spark graphX圖計算

1

升級Flink的基礎課程和案例實戰

1

新增Flink高級特性CEP、Kylin數據OLAP分析、Druid時序數據實時分析、Kettle數據ETL工具

1

新增深度學習框架Tensorflow

1

新增用戶畫像、數據倉庫大型企業實戰型項目

課程名稱

云計算大數據實戰班

課程推出時間

2018.09.10

課程版本號

6.0

主要針對版本

JDK1.8\CDH2.7.4\Storm1.1.1\Spark 2.1

主要使用開發工具

IntelliJ IDEA

課程介紹

● 本課程是基于V5.0的一次重大更新，匯總并收集了大數據學科一年以來15個零基礎班級的授課信息、學習信息、就業信息。

● 重新調整了課程的分布情況，新增了大數據綜合項目，新增了第四代大數據處理框架FLink，新增了數據庫優化，新增了JVM基礎及原理，新增了Spark性能調優等內容。

● 課程升級方面，主要對機器學習課程進行了升級，推薦系統項目后置變成7天的豐富課程，提升學員進入機器學習的競爭力，從而更好的從事人工智能領域相關的工作。

● 整體而言，課程在培養中高級大數據工程師的方向上又前進了一大步。

1

新增Hadoop 2.7.2\Storm1.1.1\Spark 2.1

1

新增Java virtual machine原理分析、Java高并發核心知識

1

新增數據庫優化及調優、第四代大數據處理框架Apache Flink、Spark原理深入剖析及生產調優

1

新增互聯網反欺詐項目實戰、廣告系統業務模型及CTR預估

1

新增用戶畫像、數據倉庫大型企業實戰型項目

1

升級用戶畫像概述/數據/建模/算法實戰、推薦系統協同過濾算法實戰、基于內容的推薦系統實戰、基于關聯規則推薦系統實戰

1

升級混合推薦與CTR點擊預估

1

升級Hadoop版本為CDH

課程名稱

云計算大數據實戰班

課程推出時間

2017.07.01

課程版本號

5.0

主要針對版本

JDK1.8\Hadoop 2.7.2\Storm1.1.1\Spark 2.1

主要使用開發工具

Eclipse、IDEA

課程介紹

● Java基礎、JavaWeb核心編程、JavaWeb三大框架、網絡爬蟲、分布式電商網站開發等課程模塊。培養學生編程能力，讓零基礎學員能夠更好的學習大數據項目。

● 大數據方面方面，新增點擊流日志收集系統、用戶日志分析報表系統、用戶畫像系統等案例。讓學員不僅僅學習到大數據技術點，能夠使用大數據解決實際問題。

● 擴充機器學習課程為10天。該課程歷時一年研發，深入淺出，能夠讓學員更好的入門機器學習，成為人工智能開發的初級工程師。

1

升級Hadoop 2.7.2\Storm1.1.1\Spark 2.1

1

新增網絡爬蟲開發

1

新增三大框架開發

1

新增JavaWeb核心

1

新增Java語言基礎

課程名稱

云計算大數據實戰班

課程推出時間

2016.03.01

課程版本號

4.0

主要針對版本

JDK7.x

主要使用開發工具

Eclipse、IDEA

課程介紹

● 對比原有課程，本次課程做了重大更新，將大數據的核心技術hadoop及其生態圈技術完美的融入到了課程中。

● 課程分階段的進行案例實戰和項目實戰，在大數據方面知識體系更加完整，課程更加深度有深度，更加貼近實戰。

● 分階段的進行大數據生態圈的學習，將生態圈分為離線處理，實時流計算和實現火熱的spark內存計算，完美的將生態圈進行了抽離和歸類，讓學習變得更便捷。

1

升級Spark1.6版本

1

新增Linux操作系統和shell腳本學習

1

新增JVM內存模型分析、NIO、Netty、自定義RPC框架

1

新增電商點擊流日志分析、電商實時日志告警平臺、交易風控風控平臺、流量日志分析分析

1

新增Spark游戲日志分析項目

1

刪除KVM虛擬化技術、網絡基礎和OpenvSwitch技術、Ceph存儲技術

1

刪除CloudStack云管理平臺、混合云管理平臺項目

課程名稱

云計算大數據實戰班

課程推出時間

2015.05.15

課程版本號

3.0

主要針對版本

JDK7.x

主要使用開發工具

Eclipse、IDEA

課程介紹

● 本次更新將大數據和虛擬化這兩大熱門技術加入到課程體系中，在大數據方面知識體系更加完整，課程更加深度有深度，更加貼近實戰。

● 在虛擬化方面，選擇了在云計算領域常用的虛擬化、網絡、存儲等技術，并通過Apache CloudStack技術整合，在此基礎上開發混合云管理平臺。

1

升級Hadoop2.0版本、Hive優化課程

1

新增電信流量運營分析項目、混合云管理平臺項目

1

新增Scala函數式編程、Spark內存計算、KVM虛擬化技術

1

新增網絡基礎和OpenvSwitch技術

1

新增Ceph存儲技術、CloudStack云管理平臺

課程名稱

云計算大數據實戰班

課程推出時間

2014.02.15

課程版本號

2.0

主要針對版本

JDK6.x

主要使用開發工具

Eclipse

課程介紹

● 隨著近年來云計算大數據的大力發展，市場對相關人才需求急增，所以本版課程在原有的云計算課程進行了顛覆性的改革，把原來只有1天的課程擴展為7天，加入了Hadoop生態圈的相關技術。

1

升級云計算課程、Hadoop集群部署、優化HDSF、MapReduce案例

1

新增Hadoop生態圈相關技術：Zookeeper、Hive、Hbase、Sqoop、Flume

1

新增Storm實時計算技術和案例

1

新增黑馬論壇日志分析項目

課程名稱

云計算大數據實戰班

課程推出時間

2012.02.15

課程版本號

1.0

主要針對版本

JDK6.0

主要使用開發工具

Eclipse

課程介紹

● 近期云計算概念火爆異常，傳智教育敏銳的嗅探到大數據技術的悄然興起，并預測大數據技術將會像雨后春筍一樣快速發展，所以傳智教育與時俱進在課程中引入了1天的云計算課程，作為擁有大數據課程的培訓機構，傳智教育大數據實戰班助力學員可以掌握新的技術，拓寬學員的就業方向，增強就業競爭力。

1

新增云計算課程：云計算和大數據相關概念

1

新增Hadoop 1.0偽分布式環境部署

1

新增HDFS、MapReduce應用案例